Telescopic Language Models
伸缩式语言模型
🧭 弹性 LLM 训练 · 随机前缀监督 ★ 深度解读
University of Cambridge · University of British Columbia · Google
单次训练让嵌套级联每个深度前缀均为有效语言模型，AULB降43–44%
📌 工作参考价值（4 点）
- 业务需要为不同延迟/成本部署多档 LLM 或小模型时，可尝试嵌套宽度递增架构 + 随机前缀全锚点训练：单次训练得到一个可任意深度截断的模型，替代多份 artifact，降低 GPU 成本（论文中比 vanilla 三模型方案低 1.7 倍）。
- 若只有少数固定 latency 档位，把 prefix sampler 集中在目标出口深度，可在单次训练的同时获得接近独立子模型的出口质量；若需要弹性降级或流量自适应，用 uniform sampler 换取全深度连续覆盖，两者是采样分布上的训练期选择。
- 中间深度崩溃的主因之一是 readout head 未校准而非主干能力不足；若不重训，可先对崩溃前缀做 cheap head-only fine-tune，虽仍落后全训练约 6 倍，但能恢复部分可用性，适合快速止血。
- 该方法在 200M 代理规模验证，迁移到 7B+ 的推荐/Agent 在线服务需自行验证；但每步仅两次 forward-backward、推理无额外开销，工程上易试错。